An Analysis of Training-Free Self-Reported Confidence in Language Models
语言模型训练无关自我报告置信度分析
🧭 LLM 置信度估计与校准分析
DreamAI
直接口头置信度是强基线，但自我报告对提示词敏感且自洽性会放大共享误解
📌 工作参考价值（4 点）
- 在生成推荐理由、广告文案、商品属性或搜索 query 时，可直接用 verbalized confidence 做不确定性初筛，但不要把它当成稳定分数直接做硬阈值路由：同一答案等效重问会带来 0.043–0.084 的分数波动，并翻转 4%–9% 的 0.8 阈值决策。
- 在需要人工审核的生成内容（如合规文案、事实性描述）上，可以用自报置信度对审核队列排序，优先检查低置信样本；但上线前必须做领域内校准审计，因为基准噪声和提示词差异会明显影响 AUROC。
- 对 Agent 多智能体投票或自洽性路由要谨慎：三样本一致性在该实验中显著弱于直接口头置信度，而且错误答案也可能获得一致支持，说明共享先验会放大系统性误解，建议引入外部证据或独立校验器。
- 如果业务依赖 closed model 的 API，无法拿到 token probability，口头置信度仍然是可用的训练无关信号，但需要设计更鲁棒的 elicitation 协议，例如多次采样、多样化提示或校准映射。